Impala Shell 简单命令 |
您所在的位置：网站首页 › zkclient 命令 › Impala Shell 简单命令 |
Impala Shell 简单命令
|
Impala Shell 简单命令
原创
jast_zsh 2023-05-06 14:59:01 博主文章分类：Impala ©著作权 文章标签 ImpalaShell 数据库 SQL 字段 文章分类 HarmonyOS 后端开发 ©著作权归作者所有：来自51CTO博客作者jast_zsh的原创作品，请联系作者获取转载授权，否则将追究法律责任目录 1.更新元数据 2.对查询结果去格式化 3.查询结果存储到文件 4.去格式化后指定分隔符 5.-p或者--show-profiles:显示查询的执行计划(与EXPLAIN语句输出相同)和每个查询语句底层的执行步骤的详细信息. 6.指定主机名连接 (-i) 7.执行查询语句 8.指定脚本文件执行SQL 9.-r或者--refresh_after_connect 10 -k或者-kerberos 11.-s或者-kerberos_service_name 12.-V或者-verbose 13.-quiet 14.-v或者-version 15.-c: 16.-d或者--database- 17.表的统计分析 18.字段的统计分析 1.更新元数据invalidate metadata; 对于通过Hive加载,插入,改变的数据操作,或者通过hdfs命令对数据文件进行的变更操作, Impala都无法自动识别数据的变更情况.如果想让Impala识别到这些变化, 在连接到impala-shell后,首先要做的操作就是REFRESH table_name,该语句会让lmpala识别到数据的变更情况.2.对查询结果去格式化> impala-shell -B3.查询结果存储到文件使用 -o 将查询结果保存到txt文件中后会提示编码问题，如下[impala@test101 ~]$ impala-shell -o 0502.txt -q ' select * from sina_weibo limit 1;' Starting Impala Shell without Kerberos authentication Connected to test101:21000 Server version: impalad version 2.11.0-cdh5.14.0 RELEASE (build d68206561bce6b26762d62c01a78e6cd27aa7690) Query: select * from sina_weibo limit 1 Query submitted at: 2018-05-02 17:19:30 (Coordinator: http://test101:25000) Query progress can be monitored at: http://test101:25000/query_plan?query_id=2e4528016c46ebfa:4ce8e72a00000000 Unknown Exception : 'ascii' codec can't encode characters in position 1834-1835: ordinal not in range(128) Could not execute command: select * from sina_weibo limit 1解决方案1. 查找我们执行的impala-shell具体内容 [root@test101 impala]# whereis impala-shell impala-shell: /usr/bin/impala-shell [root@test101 impala]# vim /usr/bin/impala-shell 2. 我们发现impala-shell会执行 impala_shell.py PYTHONPATH="${EGG_PATH}${SHELL_HOME}/gen-py:${SHELL_HOME}/lib:${PYTHONPATH}" \ exec python ${SHELL_HOME}/impala_shell.py "$@" 3. 查找impala_shell.py ，设置编码为utf-8 [root@test101 impala]# find / -name 'impala_shell.py' /opt/cloudera/parcels/CDH-5.14.0-1.cdh5.14.0.p0.24/lib/impala-shell/impala_shell.py > import sys > reload(sys) > sys.setdefaultencoding('utf-8') 4. 再次执行结果出来4.去格式化后指定分隔符 --output delimiter-:该选项对使用-B选项去格式化输出的查询结果指定各字段间的分,隔符.默认的分隔符为制表键('\t'),如果输出字段中包含了分隔符字符,这个字段将使用/进行 转义. [test101:21000] > select uid,gender,city from offline_user2 limit 5; Query: select uid,gender,city from offline_user2 limit 5 Query submitted at: 2018-05-04 20:23:52 (Coordinator: http://test101:25000) Query progress can be monitored at: http://test101:25000/query_plan?query_id=254620554e7f3de7:3b47e8e600000000 5887898482,女,海口 6013580396,男,NULL 3485070663,男,NULL 6081748563,男,深圳 5903926726,男,商丘 Fetched 5 row(s) in 0.19s5.-p或者--show-profiles:显示查询的执行计划(与EXPLAIN语句输出相同)和每个查询语句底层的执行步骤的详细信息.6.指定主机名连接 (-i)-i或者-imapad-:后面接主机名用来指定连接到指定的impalad节点. 默认的连接端口为21000,我们可以使用该命令连接到集群中任何一台impalad节点上. 如果Impala启动时使用了备用端口,则需要使用--fe-port选项标识.7.执行查询语句-q或者-query-:该选项用于执行一个查询语句或者shell命令. Impala不必等待查询或者shell执行结束即可返回.这里的查询仅限于像SELECT, CREATE TABLE, SHOW TABLES等单条的语句. 因为USE语句是一条单独的SQL语句,而这个选项只能指定单条语句, 所以如果对象没有前缀只能访问default数据库,如果要访问其他数据库就必须指定数据库名称作为前缀.8.指定脚本文件执行SQL-f或者-query-file-:这个选项后面可以跟一个SQL查询脚本文件, 脚本文件中的SQL必须使用";"来分隔. > cat query.sql use default; select from student; select mf, count (*) from student group by mf; > impala-shell -f query.sql9.-r或者--refresh_after_connect连接后刷新Impala元数据信息.效果和连接之后执行REFRESH语句相同.10 -k或者-kerberos该选项用来指定当shell连接到impalad节点时使用kerberos身份验证.但是如果impalad节点本身没有启用kerberos,连接将会报错.11.-s或者-kerberos_service_name该选项后面跟kerberos服务名称让impala-shell验证一个特定的impalad服务.如果没有指定kerberos服务名称,将使用impala作为默认的名称.如果 该选项用于一个不支持kerberos的连接,将会返回错误.12.-V或者-verbose启用详细信息输出.13.-quiet禁用详细信息输出.14.-v或者-version显示版本信息. 15.-c:如果查询失败继续执行. 16.-d或者--database-该选项后面跟上数据库的名称用于连接到指定的数据库.该选项的效果和连接上之后执行USE的效果相同.如果不指定该选项,将连接到系统默认的default数据库.17.表的统计分析 [test03:21000] namespace1> show table stats tableName; Query: show table stats tableName +-----------------+----------------------------------+------------+----------+ | Region Location | Start RowKey | Est. #Rows | Size | +-----------------+----------------------------------+------------+----------+ | test01 | | 1290769 | 833.00MB | | test01 | 3c9f93135954c1c22bba09a549b9db4d | 1288975 | 904.00MB | | test02 | 7ff81356e5d100ca91cda300bd4b11ed | 1191259 | 890.00MB | | test03 | c1c3ace151cad4ebb62f55d952b17d83 | 1183541 | 855.00MB | | Total | | 4954544 | 3.40GB | +-----------------+----------------------------------+------------+----------+ Fetched 5 row(s) in 0.57s18.字段的统计分析
赞 收藏 评论 分享 举报 上一篇：Impala查询 - HDFS缓存数据 下一篇：zabbix server is not running the information displayed may not be current |
【本文地址】